多语种预训练模型在许多多语言NLP任务中展示了它们的有效性,并使从高资源语言到低资源的零射击或几秒钟传输。然而,由于某种语言之间的显着的类型差异和矛盾,这些模型通常在许多语言和交叉语言设置上表现不佳,这表明了学习单一模型同时处理大规模不同语言的难度。为了减轻这个问题,我们提出了一个新的多语言预训练管道。我们建议从多语言预先训练的模型产生语言表示,并进行语言分析,以表明语言表示相似度反映了从多个角度来看的语言相似度,包括语言家庭,地理蓝星,词汇表演和语法。然后,我们将所有目标语言集成到多个组中,并将每个组名称为表示SprachBund。因此,在同一表示SprachBund中的语言应该在培训和微调中互相提升,因为它们共享丰富的语言相似性。我们预先列车为每个代表斯普拉克班达一个多语言模型。实验在交叉基准上进行,与强基线相比,实现了显着的改进。
translated by 谷歌翻译
Deep Convolutional Neural Networks (DCNNs) have exhibited impressive performance on image super-resolution tasks. However, these deep learning-based super-resolution methods perform poorly in real-world super-resolution tasks, where the paired high-resolution and low-resolution images are unavailable and the low-resolution images are degraded by complicated and unknown kernels. To break these limitations, we propose the Unsupervised Bi-directional Cycle Domain Transfer Learning-based Generative Adversarial Network (UBCDTL-GAN), which consists of an Unsupervised Bi-directional Cycle Domain Transfer Network (UBCDTN) and the Semantic Encoder guided Super Resolution Network (SESRN). First, the UBCDTN is able to produce an approximated real-like LR image through transferring the LR image from an artificially degraded domain to the real-world LR image domain. Second, the SESRN has the ability to super-resolve the approximated real-like LR image to a photo-realistic HR image. Extensive experiments on unpaired real-world image benchmark datasets demonstrate that the proposed method achieves superior performance compared to state-of-the-art methods.
translated by 谷歌翻译
Face super-resolution is a domain-specific image super-resolution, which aims to generate High-Resolution (HR) face images from their Low-Resolution (LR) counterparts. In this paper, we propose a novel face super-resolution method, namely Semantic Encoder guided Generative Adversarial Face Ultra-Resolution Network (SEGA-FURN) to ultra-resolve an unaligned tiny LR face image to its HR counterpart with multiple ultra-upscaling factors (e.g., 4x and 8x). The proposed network is composed of a novel semantic encoder that has the ability to capture the embedded semantics to guide adversarial learning and a novel generator that uses a hierarchical architecture named Residual in Internal Dense Block (RIDB). Moreover, we propose a joint discriminator which discriminates both image data and embedded semantics. The joint discriminator learns the joint probability distribution of the image space and latent space. We also use a Relativistic average Least Squares loss (RaLS) as the adversarial loss to alleviate the gradient vanishing problem and enhance the stability of the training procedure. Extensive experiments on large face datasets have proved that the proposed method can achieve superior super-resolution results and significantly outperform other state-of-the-art methods in both qualitative and quantitative comparisons.
translated by 谷歌翻译
手指静脉识别是一种新兴的生物识别识别技术。与人体表面上的其他生物特征不同,手指的静脉血管组织被埋在皮肤深处。由于这种优势,手指静脉识别是高度稳定和私人的。它们几乎不可能被外部条件偷走且难以干预。与基于传统机器学习的手指静脉识别方法不同,人工神经网络技术,尤其是深度学习,它不依赖功能工程并具有出色的性能。为了总结基于人工神经网络的手指静脉识别的发展,本文收集了149篇相关论文。首先,我们介绍了手指静脉识别的背景和这项调查的动机。然后,引入了人工神经网络的发展历史和手指静脉识别任务上的代表网络。然后描述在手指静脉识别中广泛使用的公共数据集。之后,我们分别基于经典神经网络和深层神经网络总结了相关的手指静脉识别任务。最后,讨论了手指静脉识别的挑战和潜在发展方向。据我们所知,本文是第一次综合调查,重点是基于人工神经网络的指静脉识别。
translated by 谷歌翻译
很难收集足够的缺陷图像来训练工业生产中的深度学习网络。因此,现有的工业异常检测方法更喜欢使用基于CNN的无监督检测和本地化网络来实现此任务。但是,由于传统的端到端网络在高维空间中符合非线性模型的障碍,因此这些方法总是失败。此外,它们通过将正常图像的特征群群群群群群集成,这基本上是导致纹理变化不健壮的。为此,我们提出了基于视觉变压器的(基于VIT)的无监督异常检测网络。它利用层次任务学习和人类经验来增强其解释性。我们的网络包括模式生成和比较网络。模式生成网络使用两个基于VIT的编码器模块来提取两个连续图像贴片的功能,然后使用基于VIT的解码器模块来学习这些功能的人类设计样式并预测第三张图像贴片。之后,我们使用基于暹罗的网络来计算“生成图像补丁”和“原始图像补丁”的相似性。最后,我们通过双向推理策略来完善异常定位。公共数据集MVTEC数据集的比较实验显示我们的方法达到了99.8%的AUC,它超过了先前的最新方法。此外,我们在自己的皮革和布数据集上给出了定性插图。准确的片段结果强烈证明了我们方法在异常检测中的准确性。
translated by 谷歌翻译
Finger静脉图像识别技术在生物识别识别中起着重要作用,并已成功应用于许多领域。由于静脉被埋在皮肤组织下方,因此手指静脉图像识别具有无与伦比的优势,因此不容易被外部因素打扰。这篇综述总结了有关手指静脉图像识别的46篇论文,从2017年到2021年。这些论文根据深神经网络的任务进行了汇总。此外,我们提出了手指静脉图像识别的挑战和潜在发展方向。
translated by 谷歌翻译
注释大规模数据集以进行监督的视频阴影检测方法是一项挑战。直接使用在标记的图像上训练的模型直接导致高概括错误和时间不一致的结果。在本文中,我们通过提出一个时空插值一致性训练(Stict)框架来解决这些挑战,以合理地将未标记的视频框架以及标记的图像以及图像阴影检测网络训练中进行合理地馈送。具体而言,我们提出了空间和时间ICT,其中定义了两个新的插值方案,\ textit {i.e。},空间插值和时间插值。然后,我们相应地得出了相应的空间和时间插值一致性约束,以增强像素智能分类任务中的概括和分别鼓励时间一致的预测。此外,我们设计了一个量表感知网络,用于图像中的多尺度阴影知识学习,并提出了比例一致性约束,以最大程度地减少不同尺度上预测之间的差异。我们提出的方法在VISHA数据集和自称数据集上得到了广泛的验证。实验结果表明,即使没有视频标签,我们的方法也比大多数最新的监督,半监督或无监督的图像/视频阴影检测方法以及相关任务中的其他方法更好。代码和数据集可在\ url {https://github.com/yihong-97/stict}上获得。
translated by 谷歌翻译
现有的实例分割方法已经达到了令人印象深刻的表现,但仍遭受了共同的困境:一个实例推断出冗余表示(例如,多个框,网格和锚点),这导致了多个重复的预测。因此,主流方法通常依赖于手工设计的非最大抑制(NMS)后处理步骤来选择最佳预测结果,这会阻碍端到端训练。为了解决此问题,我们建议一个称为Uniinst的无盒和无端机实例分割框架,该框架仅对每个实例产生一个唯一的表示。具体而言,我们设计了一种实例意识到的一对一分配方案,即仅产生一个表示(Oyor),该方案根据预测和地面真相之间的匹配质量,动态地为每个实例动态分配一个独特的表示。然后,一种新颖的预测重新排列策略被优雅地集成到框架中,以解决分类评分和掩盖质量之间的错位,从而使学习的表示形式更具歧视性。借助这些技术,我们的Uniinst,第一个基于FCN的盒子和无NMS实例分段框架,实现竞争性能,例如,使用Resnet-50-FPN和40.2 mask AP使用Resnet-101-FPN,使用Resnet-50-FPN和40.2 mask AP,使用Resnet-101-FPN,对抗AP可可测试-DEV的主流方法。此外,提出的实例感知方法对于遮挡场景是可靠的,在重锁定的ochuman基准上,通过杰出的掩码AP优于公共基线。我们的代码将在出版后提供。
translated by 谷歌翻译
在许多收集的图像中,由于未经污染的图像对于许多下游多媒体任务至关重要,因此阴影删除引起了人们的关注。当前的方法考虑了阴影和非阴影区域的相同卷积操作,同时忽略了阴影区域和非阴影区域的颜色映射之间的巨大差距,从而导致重建图像的质量差和沉重的计算负担。为了解决这个问题,本文介绍了一个新颖的插件阴影感知动态卷积(SADC)模块,以使阴影区域与非阴影区域之间的相互依赖性解除。受到以下事实的启发:非阴影区域的颜色映射更易于学习,我们的SDC以计算上的轻巧卷积模块的方式处理非阴影区域,并以计算上的廉价方式处理,并使用更复杂的卷积模块恢复阴影区域图像重建的质量。鉴于非阴影区域通常包含更多背景颜色信息,我们进一步开发了一种新型的卷积内蒸馏损失,以增强从非阴影区域到阴影区域的信息流。在ISTD和SRD数据集上进行的广泛实验表明,我们的方法在许多最先进的情况下取得了更好的阴影去除性能。我们的代码可从https://github.com/xuyimin0926/sadc获得。
translated by 谷歌翻译
缺失痕迹的插值和重建是地震数据处理的关键步骤,此外,这也是一个高度不良的问题,尤其是对于复杂的情况,例如高比率随机离散丢失,连续缺失和缺失,富含断层或盐分身体调查。这些复杂的案例在当前作品中很少提及。为了应对复杂的缺失案例,我们提出了一种新型的3-D GAN框架的多维对抗GAN(MDA GAN)。它可以在3D复合物使用三个歧视器缺少重建后,保持数据的各向异性和空间连续性。该功能缝合模块的设计并嵌入到发电机中,以保留更多输入数据的信息。 TANH横熵(TCE)损失是得出的,该损失为生成器提供了最佳的重建梯度,以使生成的数据更加平滑且连续。我们通过实验验证了研究的各个组件的有效性,然后在多个可公开的数据上测试了该方法。该方法实现了多达95%的随机离散缺失和100个连续缺失的痕迹的合理重建。在断层和盐体富含调查中,MDA GAN仍然为复杂病例带来令人鼓舞的结果。在实验上,已经证明,在简单和复杂的情况下,我们的方法的性能要比其他方法更好。https://github.com/douyimin/mda_gan
translated by 谷歌翻译